Sau khi Việt Nam thống nhất năm 1976, ông được giữ chức vụ Phó Thủ tướng, từ năm 1981 đổi thành Phó Chủ tịch Hội đồng Bộ trưởng. Ông cũng kiêm chức Bộ trưởng Bộ Nội vụ (nay là Bộ Công an) thay cho Trần Quốc Hoàn từ 1980 đến 1987.

Từ tháng 6 năm 1987, được bầu làm Chủ tịch Hội đồng Bộ trưởng nước Cộng hoà xã hội chủ nghĩa Việt Nam và giữ chức vụ này cho đến khi mất.

Ông cũng là đại biểu Quốc hội liên tục từ khóa II đến khóa VII (1960-1988).

Ông mất đột ngột ngày 10 tháng 3 năm 1988 tại Thành phố Hồ Chí Minh, khi đang đương chức. Theo Thông cáo đặc biệt của Đảng, Nhà nước: "Đồng chí Phạm Hùng mất trong lúc đang chỉ đạo công tác tại thành phố Hồ Chí Minh và các tỉnh phía nam. Gặp lúc có nhiều công việc lớn phức tạp, làm việc căng thẳng nhằm giải quyết những vấn đề cấp bách về đời sống của nhân dân cả nước, đồng chí đã bị một cơn đau tim nặng đột ngột, các giáo sư, bác sĩ đã hết lòng cứu chữa, nhưng do tuổi cao, sức yếu, đồng chí đã vĩnh biệt chúng ta [1]; Trong cuốn sách Bên thắng cuộc của Huy Đức, người kế nhiệm, ông Đỗ Mười đã kể lại: "Anh ấy đang bình thường khỏe mạnh, ăn cơm xong nằm nghỉ trưa nghe vọng cổ rồi bị sặc cơm mà mất. Tang lễ được tổ chức tại Hội trường Ba Đình, Hà Nội theo nghi thức quốc tang trong 2 ngày 13 và 14 tháng 3 năm 1988, an táng tại Mai Dịch, Hà Nội[2]"